ReRankingを適用したRAGの精度向上について 実データを使ってやってみた
2024.03.28はじめに
クラスメソッド株式会社 新規事業部のレオナです。
LLMの説明
近年、ChatGPTを代表にAI⾔語モデル（Large Language Model：以下、LLM）が⾃然⾔語処理の分野で広く使われるようになってきました。LLMは、⼤量のテキストデータを学習することで、⼈間のような⾃然な⽂章を⽣成することができます。
QAチャットbot(RAG)
LLMを使ったチャットボットを構築することで効率化できたという事例が出てきています。通常、LLMは学習中に得た情報をもとに質問に回答しますが、公開されていない社内情報については間違えてしうことがあります。
この問題を解決する⽅法の1つとして、Retrieval Augmented Generation（以下、RAG）という⼿法があります。RAGは、外部知識ベースからの検索（Retrieval）とLLMによる回答⽣成を組み合わせたフレームワークです。外部知識ベースから関連情報を検索することで、最新の情報に基づいた回答が可能になります。
課題
CM内の運用方法
クラスメソッド社内で運⽤しているQAチャットボットの構成や詳細については以下の記事をご確認ください。
Google Cloud Enterprise SearchとRetrieveReadCompose方式RAGを利用して社内公式情報を全部質問できるようにしてみた
概要
Google CloudのVertex AI(旧:Enterprise Search)とRetrieveReadCompose（RAG）方式を使用して、社内情報に対するQAチャットボットを構築する方法についてです
役に立たなかったという回答の割合が3割程度残っている
社内で運⽤しているQAチャットボットでは、ユーザーからの質問に対してQAチャットボットがうまく回答できない問題があります。
このQAチャットボットには、ユーザーとのやり取りを記録したフィードバックデータがあります。各データには以下の3つの要素が含まれています。
- ユーザーからの質問文
- チャットボットが生成した回答
- ユーザーからのフィードバック（「回答なし」「解決できた（はい）」「解決できなかった（いいえ）」の3種類）
今回の分析では、直近1000件のデータのうち、「解決できなかった」と評価された98件の質問文の一部を抜粋しました。以下のグラフは、直近1000件のデータにおけるフィードバックの分布を示しています。
チャットボットが検索する際に、必要な情報を得られないことがある課題があります。
この問題には様々な原因が考えられますが、主なものとして以下の3点が挙げられます。
- 関連するドキュメントが存在しない
- ユーザーからの質問が抽象的である
- 関連するドキュメントが適切に検索されていない
RAGにおける検索精度
今回の検証では、上記の課題のうち、３点目について調べました。使われている検索手法の精度が低いことが原因であると仮定し、以降では検索精度をあげるための手法である、Re-rankingを試した結果について記載します
精度改善のための手法(Re-ranking)
この問題に対処するため、Re-ranking(再ランク付け)という⼿法を⽤いて、検索結果の精度向上を試みます。
Re-rankingは、Retrieverによって取得された複数の文書を、クエリに対する関連度を別ベクトルを用いて高い順別に並べ替える手法です。これによって検索の精度があがり、チャットボットの回答精度が上がることが期待できます。
Re-ranking⼿法の詳細については以下の記事をご確認ください。
追記: 他の⼿法もあるそうです。
検索精度向上のための別の⼿法は、メタデータでフィルタリングする方法があります。メタデータを⽤いて検索結果を絞り込む⼿法です。詳細は以下の記事を参照ください。
Optimizing Vector Search with Metadata Filtering
実験
目的
Re-rankingによって検索精度が向上するかを確認します。具体的には、検索に異なる埋め込みモデルを使用し、検索精度が上がるか検証します。
社内で運⽤しているチャットボットはGoogle CloudのVertex AIを使⽤していますが、今回の検証ではLlamaIndexを⽤いて、Re-rankingによって検索精度が向上するかを確認します。 同じ環境での検証は行えていませんが、Re-rankingの効果を⾒るためには、異なる埋め込みモデルを使⽤して検索結果を再ランク付けし、検索精度が上がるかどうかが重要なポイントになります。
手法
- フィードバッグの解決できなかったの質問⽂を⽤意します。
- 同じ質問⽂に対し、OpenAIとAWS BedrockのTitanを使って検索した際の上位20件の検索結果を⽬視で⽐較します。
前回の記事同様、使⽤するLLMはOpenAIのText-Embedding-Ada-002とAWS BedrockのAmazon.Titan-Embed-Text-v1です。
チャンクサイズは512、オーバーラップは20に設定しました。
チャンクサイズとは、⽂書を複数の⼩さな部分（チャンク）に分割する際の各チャンクの⻑さを指します。⽂書全体を⼀度に処理するのではなく、チャンクに分割することで、⼤規模な⽂書に対する検索性能を向上させることが可能です。
オーバーラップとは、隣接するチャンク間で重複させる⽂字数のことです。チャンク間にオーバーラップを設けることで、チャンクの境界付近で発⽣する検索クエリのマッチング漏れを軽減されます。
実装
今回はLlamaIndexを用いて実装しました。
import os
from dotenv import load_dotenv
from llama_index import (
VectorStoreIndex,
ServiceContext,
StorageContext,
SimpleDirectoryReader,
Document
)
from llama_index.llms import Bedrock, OpenAI
from llama_index.embeddings import BedrockEmbedding, OpenAIEmbedding
from llama_index.node_parser import SentenceSplitter
from llama_index.retrievers import VectorIndexRetriever
from llama_index.indices.query.schema import QueryBundle
import pandas as pd
from IPython.display import display, HTML
# .env ファイルから環境変数を読み込む
load_dotenv()
# 環境変数から必要な情報を取得
region = os.getenv("AWS_DEFAULT_REGION", None)
openai_api_key = os.getenv("OPENAI_API_KEY")
# モデルの選択を設定するための変数（'openai' または 'titan'）
model_choice = 'openai'
# チャンクのオーバーラップとサイズを設定
chunk_overlap = 20
chunk_size = 512
# モデルのパラメータを設定
model_kwargs = {
"stopSequences": [],
"temperature": 0.0,
"topP": 0.5
}
# モデルと埋め込みモデルのインスタンスを作成する関数
def create_model_instances(model_choice, region, openai_api_key, model_kwargs):
if model_choice == 'titan':
# Bedrockモデルのインスタンスを作成
llm_model = Bedrock(
model="amazon.titan-text-express-v1",
context_size=chunk_size,
aws_region_name=region,
additional_kwargs=model_kwargs
)
# BedrockEmbeddingのインスタンスを作成
embed_model = BedrockEmbedding().from_credentials(
aws_profile=None,
model_name='amazon.titan-embed-text-v1'
)
elif model_choice == 'openai':
# OpenAIモデルのインスタンスを作成
llm_model = OpenAI(
model="gpt-4-1106-preview",
context_size=chunk_size,
additional_kwargs=model_kwargs,
api_key=openai_api_key
)
# OpenAIEmbeddingのインスタンスを作成
embed_model = OpenAIEmbedding(
model="text-embedding-ada-002",
api_key=openai_api_key
)
else:
raise ValueError("titan or openaiで指定してください")
return llm_model, embed_model
# モデルのインスタンスを作成
llm_model, embed_model = create_model_instances(model_choice, region, openai_api_key, model_kwargs)
# サービスコンテキストを設定
service_context = ServiceContext.from_defaults(llm=llm_model, embed_model=embed_model, chunk_size=chunk_size, chunk_overlap=chunk_overlap)
結果
分析では、いくつかのケースについてRe-ranking適用前後の検索結果を比較しました。ここでは、その中から3つのケースを取り上げます。
ケース① #回答時にドキュメントがないと生成されたとき
| 質問文 | 生成された回答文 |
|---|---|
| 代休を取得する際に必要な手続きはなんですか？ | ドキュメントには代休の取得に関する具体的な手続きについての情報は含まれていません。詳細な手続きについては、人事・労務部門に直接お問い合わせいただくか、社内のガイドラインやマニュアルをご確認ください。 |
出力結果
Titan
| Filename | Retrieved sentence |
|---|---|
| 産後パパ育休(出生時育児休業)を取得するとき(男性社員) f99e4f109bcf4aa4a19f382361042abd.md | 特別休暇について連続する20営業日までは、特別休暇（有給）として取得することが可能です。分割して取得する場合は、初回の期間のみ特別休暇の取得が可能です。産後パパ育休時には特別休暇を取得せず、通常の育児休業%20bcabbc47171141da892ae29466f499ad.md)を取得する際に特別休暇を取得することも可能です。特別休暇の期間のみ休業される場合でも「育児休業申出書」の提出は必要になりますので、ご注意ください。※「就業規則（CM)」第39条（8) |
| 産後パパ育休(出生時育児休業)を取得するとき(男性社員) f99e4f109bcf4aa4a19f382361042abd.md | 申請方法KoTにて以下の内容でスケジュール申請をしてください- パターン：特別休暇（全休）- 申請メッセージ：育児休暇のため |
| 産後パパ育休(出生時育児休業)を取得するとき(男性社員) f99e4f109bcf4aa4a19f382361042abd.md | 取得可能な期間- 子の出生後8週間以内に4週間まで- 分割して2回取得可能(初めにまとめて申し出ることが必要) |
| 産後パパ育休(出生時育児休業)を取得するとき(男性社員) f99e4f109bcf4aa4a19f382361042abd.md | 取得要件- １歳に満たない子と同居し、養育していること- 申出日において、入社後１年を経過していること- 申出日から１年以内に雇用関係が終了することが決まっていないこと |
| 産後パパ育休(出生時育児休業)を取得するとき(男性社員) f99e4f109bcf4aa4a19f382361042abd.md | 申請方法(Docusign)- 提出期限：休業開始日の2週間前まで育児休業を申出したい旨を、SlackのDMにて ＠労務チーム 宛にご連絡くださいDocuSign（メール）にて、申請書類をお送りします |
| 育児休業を取得するとき(男性社員) bcabbc47171141da892ae29466f499ad.md | 取得可能な期間- 出産予定日（予定日より早く生まれた場合は出産日）～子が１歳になる日の前日まで の任意の期間 （男性の場合）- 分割して2回取得可能(取得の際にそれぞれ申出が必要)※保育園に入所できない場合等、延長が可能な場合もあります 詳細は「育児休業及び育児短時間勤務に関する規則」を参照ください。 |
| 産後パパ育休(出生時育児休業)を取得するとき(男性社員) f99e4f109bcf4aa4a19f382361042abd.md | お子様を扶養に入れるとき以下のフローにそってSmartHRよりご申請ください。扶養追加（ご家族を扶養に入れるとき） |
| 産後パパ育休(出生時育児休業)を取得するとき(男性社員) f99e4f109bcf4aa4a19f382361042abd.md | 産後パパ育休(出生時育児休業)を取得するとき(男性社員)育児休業を取得される場合は、事前に上長へ相談の上、以下の手続きをお願いします |
| 産後パパ育休(出生時育児休業)を取得するとき(男性社員) f99e4f109bcf4aa4a19f382361042abd.md | 育児休業中の特別休暇とならない期間について育児休業期間中、特別休暇（有給）とならない日については、給与の支給はありません。その場合は、雇用保険の「育児休業給付金」の申請手続きを行います。提出いただく書類がありますので、該当する場合は別途ES部労務チームよりご案内いたします。 |
| 会社に申請・届出が必要なもの 75d566aa12494053b2d570a999e3bd8e.md | 産休・育休を取得するとき産前産後休業を取得するとき(女性社員)%206cbb1b64d59d47e08177bd10c7077ab7.md)育児休業を取得するとき(男性社員)%20bcabbc47171141da892ae29466f499ad.md)産後パパ育休(出生時育児休業)を取得するとき(男性社員) %E3%82%92%E5%8F%96%E5%BE%97%E3%81%99%E3%82%8B%E3%81%A8%E3%81%8D(%E7%94%B7%E6%80%A7%E7%A4%BE%E5%93%A1)%20f99e4f109bcf4aa4a19f382361042abd.md) |
| 育児休業を取得するとき(男性社員) bcabbc47171141da892ae29466f499ad.md | 申請方法KoTにて以下の内容でスケジュール申請をしてください- パターン：特別休暇（全休）- 申請メッセージ：育児休暇のため |
| 産前産後休業を取得するとき(女性社員) 6cbb1b64d59d47e08177bd10c7077ab7.md | 休業期間(育児休業)- 産後休業終了日の翌日～子が１歳になる日の前日まで の任意の期間※保育園に入所できない場合等、延長が可能な場合もあります 詳細は「育児休業及び育児短時間勤務に関する規則」を参照ください |
| 産前産後休業を取得するとき(女性社員) 6cbb1b64d59d47e08177bd10c7077ab7.md | 育児休業を取得するとき1. 出産手当金申請書などが到着し、お子様の出生の確認が取れましたら、労務チームよりDocuSign（メール）にて、申請書類をお送りします2. 「文書の確認」からDocuSignを開きます3. 「育児休業申出書」の入力- 下記記入例のPDFを参照し入力をしてください4. 「育児休業取扱通知書」- 入力は不要です5. 「記載内容に関する確認書・申請等に関する同意書」- 署名・捺印をしてください6. 内容に間違いがないかをチェックし「完了」を押します7. 労務チームにて内容を確認します- 内容に不備等があった場合は、訂正・再承認をお願いすることがあります8. 文書での作業が完了した旨のメール通知が届きます9. |
| 育児休業を取得するとき(男性社員) bcabbc47171141da892ae29466f499ad.md | 取得要件- １歳に満たない子と同居し、養育していること- 申出日において、入社後１年を経過していること- 申出日から１年以内に雇用関係が終了することが決まっていないこと |
| 産前産後休業を取得するとき(女性社員) 6cbb1b64d59d47e08177bd10c7077ab7.md | 育児休業中の手当について育児休業中の期間について、雇用保険の給付金が受けられます。https://www.hellowork.mhlw.go.jp/insurance/insurance_continue.html#a3手続きに必要な書類については、労務チームより個別にご連絡します。 |
| 育児休業を取得するとき(男性社員) bcabbc47171141da892ae29466f499ad.md | 育児休業を取得するとき(男性社員)育児休業を取得される場合は、事前に上長へ相談の上、以下の手続きをお願いします女性社員が、産前産後休業に引き続いて育児休業を取得する場合には、 産前産後休業を取得するとき（女性社員） をご参照ください |
| 産前産後休業を取得するとき(女性社員) 6cbb1b64d59d47e08177bd10c7077ab7.md | 育児休業の取得要件- １歳に満たない子と同居し、養育していること- 申出日において、入社後１年を経過していること- 申出日から１年以内に雇用関係が終了することが決まっていないこと |
| KoT】振替休日 bbabf50617e74f69af2b29bff7c9d35d.md | ②-2 休日出勤した日の翌月に振替休日を取得する場合パターン「振休（翌月）」を選択し、申請メッセージに「〇/〇取得分を利用」と入れて、スケジュール申請をする |
| 育児休業を取得するとき(男性社員) bcabbc47171141da892ae29466f499ad.md | 特別休暇について男性社員による育児休業期間のうち、お子様一人あたり連続する20営業日までは、特別休暇（有給）として取得することが可能です。特別休暇の期間のみ休業される場合でも「育児休業申出書」の提出は必要になりますので、ご注意ください。※「就業規則（CM)」第39条（8) |
| 【KoT】振替休日 bbabf50617e74f69af2b29bff7c9d35d.md | ②-1 休日出勤した日と同月に振替休日を取得する場合パターン「振休（同月）」を選択し、申請メッセージに「〇/〇取得分を利用」と入れて、スケジュール申請をする |
OpenAI
| Filename | Retrieved sentence |
|---|---|
| 産前産後休業を取得するとき(女性社員) 6cbb1b64d59d47e08177bd10c7077ab7.md | 育児休業を取得するとき1. 出産手当金申請書などが到着し、お子様の出生の確認が取れましたら、労務チームよりDocuSign（メール）にて、申請書類をお送りします2. 「文書の確認」からDocuSignを開きます3. 「育児休業申出書」の入力- 下記記入例のPDFを参照し入力をしてください4. 「育児休業取扱通知書」- 入力は不要です5. 「記載内容に関する確認書・申請等に関する同意書」- 署名・捺印をしてください6. 内容に間違いがないかをチェックし「完了」を押します7. 労務チームにて内容を確認します- 内容に不備等があった場合は、訂正・再承認をお願いすることがあります8. 文書での作業が完了した旨のメール通知が届きます9. |
| 産前産後休業を取得するとき(女性社員) 6cbb1b64d59d47e08177bd10c7077ab7.md | 育児休業中の手当について育児休業中の期間について、雇用保険の給付金が受けられます。https://www.hellowork.mhlw.go.jp/insurance/insurance_continue.html#a3手続きに必要な書類については、労務チームより個別にご連絡します。 |
| 病気やけがをしたとき 63e354df6db345cb9e433710d8fca324.md | **療養のために仕事を休んだとき**病気やけがで療養のために仕事を休み、その間給与が支払われないときは「傷病手当金」の給付が受けられます。 |
| 産後パパ育休(出生時育児休業)を取得するとき(男性社員) f99e4f109bcf4aa4a19f382361042abd.md | 特別休暇について連続する20営業日までは、特別休暇（有給）として取得することが可能です。分割して取得する場合は、初回の期間のみ特別休暇の取得が可能です。産後パパ育休時には特別休暇を取得せず、通常の育児休業%20bcabbc47171141da892ae29466f499ad.md)を取得する際に特別休暇を取得することも可能です。特別休暇の期間のみ休業される場合でも「育児休業申出書」の提出は必要になりますので、ご注意ください。※「就業規則（CM)」第39条（8) |
| 産前産後休業を取得するとき(女性社員) 6cbb1b64d59d47e08177bd10c7077ab7.md | 休業期間(産前産後休業)- 産前休業：出産予定日から４２日前（双子の場合は９８日前）から取得可- 産後休業：出産日から５６日後まで取得可 |
| 育児休業を取得するとき(男性社員) bcabbc47171141da892ae29466f499ad.md | 育児休業中の特別休暇とならない期間について育児休業期間中、特別休暇（有給）とならない日については、給与の支給はありません。その場合は、雇用保険の「育児休業給付金」の申請手続きを行います。提出いただく書類がありますので、該当する場合は別途ES部労務チームよりご案内いたします。 |
| 育児休業を取得するとき(男性社員) bcabbc47171141da892ae29466f499ad.md | 特別休暇について男性社員による育児休業期間のうち、お子様一人あたり連続する20営業日までは、特別休暇（有給）として取得することが可能です。特別休暇の期間のみ休業される場合でも「育児休業申出書」の提出は必要になりますので、ご注意ください。※「就業規則（CM)」第39条（8) |
| 育児休業を取得するとき(男性社員) bcabbc47171141da892ae29466f499ad.md | 育児休業を取得するとき(男性社員)育児休業を取得される場合は、事前に上長へ相談の上、以下の手続きをお願いします女性社員が、産前産後休業に引き続いて育児休業を取得する場合には、 産前産後休業を取得するとき（女性社員） をご参照ください |
| 育児休業を取得するとき(男性社員) bcabbc47171141da892ae29466f499ad.md | 申請方法(Docusign)- 提出期限：休業開始日の１ヶ月前まで1. 育児休業を申出したい旨を、SlackのDMにて ＠労務チーム 宛にご連絡ください2. DocuSign（メール）にて、申請書類をお送りします3. 「文書の確認」からDocuSignを開きます4. 「育児休業申出書」の入力- 下記記入例のPDFを参照し入力をしてください5. 「育児休業取扱通知書」- 入力は不要です6. 「記載内容に関する確認書・申請等に関する同意書」 ※該当者のみお送りします- 署名・捺印をしてください7. 内容に間違いがないかをチェックし「完了」を押します8. 労務チームにて内容を確認します- 内容に不備等があった場合は、訂正・再承認をお願いすることがあります9. |
| 産後パパ育休(出生時育児休業)を取得するとき(男性社員) f99e4f109bcf4aa4a19f382361042abd.md | 育児休業中の特別休暇とならない期間について育児休業期間中、特別休暇（有給）とならない日については、給与の支給はありません。その場合は、雇用保険の「育児休業給付金」の申請手続きを行います。提出いただく書類がありますので、該当する場合は別途ES部労務チームよりご案内いたします。 |
| 病気やけがをしたとき 63e354df6db345cb9e433710d8fca324.md | **＜クラスメソッドの方＞**申請の手続きは必要ありません。高額療養費が発生した場合はITS健保より会社の指定口座に自動払いで振り込みされ、その後、会社より給与口座へ振り込みします（振り込み日は確定次第、事前にお知らせします）。支給内容を記載した「支給決定通知書」はご自宅へ郵送します。 |
| 病気やけがをしたとき 63e354df6db345cb9e433710d8fca324.md | **支給要件1. 療養のため労務不能であること2. 連続する3日を含み4日以上**仕事を休んだとき1. 労務不能となって休み始めた日から、連続した3日間は待期期間となります（待機期間は有給でも問題ありません）2. 4日目から給付の対象となります3. 休んだ期間について給与等が支給されないこと短時間でも就労した場合、その日は給付の対象となりません。 |
| 社員休職・復職について 3068f96d6cb1479d97d02f7428bf6774.md | 貸与物の回収|PC一式 |PC一式は、基本、貸与者ご本人保管でお願いします。預かり保管を希望の場合はGoogleフォームにて回答してください。 ||--- |--- ||社員証 |1ヶ月以上復帰の予定がない方は、オフィス解錠の権限を原則停止します。 ||ビル警備カード |休職期間を問わず、原則、返却いただきます。一時保管ではなく返却扱いとさせていただきますので、ご了承ください。 ||モバイルルーター |1ヶ月以上復帰の予定がない方は、原則、返却いただきいます。一時保管ではなく返却扱いとさせていただきますので、ご了承ください。 ||会社携帯 |1ヶ月以上復帰の予定がない方は、部内で解約・停止の有無を判断のうえ、Googleフォームにて回答してください。① 一時停止電話番号は維持のまま、一時停止します。初期手数料2,000円と月額料金400円がかかります。 |
| 産後パパ育休(出生時育児休業)を取得するとき(男性社員) f99e4f109bcf4aa4a19f382361042abd.md | 産後パパ育休(出生時育児休業)を取得するとき(男性社員)育児休業を取得される場合は、事前に上長へ相談の上、以下の手続きをお願いします |
| 【KoT】有給休暇 31d93eac403a422b9247d2d999f42827.mds | 申請方法全日取得する場合①パターン「有給（全休）」を選択!Untitled②申請メッセージに事由を記載する（私用・体調不良など 詳細は不要です）!Untitled※KoTの仕様上、有給休暇のみ「申請メッセージ」を未入力で申請ができないため、入力必須となっております。ご了承ください。③「スケジュール申請」ボタンを押す半日取得する場合①スケジュール編集画面の「半休/欠勤種別」で『AM休』または『PM休』を選択※パターンは変更しません!Untitled②申請メッセージに事由を記載する（私用・体調不良など 詳細は不要です）③「スケジュール申請」ボタンを押す |
| 産前産後休業を取得するとき(女性社員) 6cbb1b64d59d47e08177bd10c7077ab7.md | 産前産後休業を取得するとき(女性社員)産前産後休業・育児休業を取得される場合は、事前に上長へ相談の上、以下の手続きをお願いします男性社員が、育児休業を取得する場合には、 育児休業を取得するとき(男性社員)%20bcabbc47171141da892ae29466f499ad.md) をご参照ください- 休業期間(産前産後休業)%206cbb1b64d59d47e08177bd10c7077ab7.md)- 申請フロー(産前産後休業)%206cbb1b64d59d47e08177bd10c7077ab7.md)- 産休に関する諸手続き%206cbb1b64d59d47e08177bd10c7077ab7.md)- 出産手当金%206cbb1b64d59d47e08177bd10c7077ab7.md)- 出産育児一時金・出産育児付加金%206cbb1b64d59d47e08177bd10c7077ab7. |
| 社員休職・復職について 3068f96d6cb1479d97d02f7428bf6774.md | 社員休職・復職について最終更新：2023/09/11💡 はじめに社員休職・復職が発生した際の総務での準備とフローについてまとめたものです。---🔷対象者休・復職に関する労務手続きがお済みの方📋目次--- |
| 産後パパ育休(出生時育児休業)を取得するとき(男性社員) f99e4f109bcf4aa4a19f382361042abd.md | 取得可能な期間- 子の出生後8週間以内に4週間まで- 分割して2回取得可能(初めにまとめて申し出ることが必要) |
| 社員休職・復職について 3068f96d6cb1479d97d02f7428bf6774.md | Googleフォーム回答とWF社員の休職が決まったら、総務で部門長にGoogleフォームにてヒアリングを実施します。その内容を元にWF申請及びご本人に貸与物ご返却の手続きを行います。ℹ️ 休職に関するヒアリング（Googleフォーム） |
| 産前産後休業を取得するとき(女性社員) 6cbb1b64d59d47e08177bd10c7077ab7.md | 育児休業の取得要件- １歳に満たない子と同居し、養育していること- 申出日において、入社後１年を経過していること- 申出日から１年以内に雇用関係が終了することが決まっていないこと |
ケース② #回答が正しくない
| 質問文 | 生成された回答文 |
|---|---|
| Gmailのグループメールの作り方を教えてください | Gmailのグループメールの作り方については、以下の手順で行うことができます。 1. Gmailを開き、左上の「Googleアプリ」をクリックします。 2. 「連絡先」をクリックします。 3. 左側のメニューで、「ラベル」をクリックします。 4. 「新しいラベル」をクリックします。 5. ラベル名を入力し、「保存」をクリックします。 6. 「連絡先」をクリックし、追加したい連絡先を選択します。 7. 上部のメニューで、「管理」をクリックします。 8. 「ラベルに追加」をクリックし、作成したラベルを選択します。 以上の手順で、Gmailのグループメールを作成することができます。なお、詳細な手順や画像付きの説明については、Googleの公式サポートページをご覧ください[3]。 |
出力結果
Titan
| Filename | Retrieved sentence |
|---|---|
| Googleグループで不在通知連絡などの自動返信設定をしたい 29a0d9ff6b604f47ba567a7f48f66708.md | Googleグループで不在通知連絡などの自動返信設定をしたいタグ: Googleグループ, ML, 不在, 自動返信最終更新日時: December 22, 2022 10:50 AM |
| Gmailでのメールを委任したいです faf09a5ce9cc43d1b9aaa88046b6d2fb.md | Gmailでのメールを委任したいですタグ: Gmail, 委任最終更新日時: February 2, 2023 1:00 PM |
| Google Workspace 67efcf2c605e4aa096f699069559433a.md | 部門長：所属部門長Googleグループ（メーリングリスト）メンバー確認方法- 自身が登録されているMLを確認する方法※ここからグループを抜けることができます。 抜ける際は業務に支障がないことをご確認のうえ、慎重にご判断ください。!image2021-7-1_9-18-4.png- MLに登録されているメンバーを確認する方法※xxxxxにはML名が入りますGoogleグループ（メーリングリスト）から退出する異動などでプロジェクト等のGoogleグループから退出したい場合は以下の手順を参照してご自身で退出が可能です。【公式】グループから退会する、またはグループからのメールの受信を停止する |
| Gmail c11dc494f40b4ab49a4b710299d2c746.csv | Gmailが見れません。Googleワークスペースにログインできていないようです。, Gmail, ログイン, February 25, 2023 7:48 PM新規ML（メーリングリスト）を作りたい。, Googleグループ, ML, メーリングリスト, December 21, 2022 5:14 PMGoogleグループを廃止して、同じアカウント名でGoogleユーザーアカウントを作成することは可能でしょうか？, Googleグループ, ML, ユーザーアカウント, December 22, 2022 10:51 AMGoogleグループで不在通知連絡などの自動返信設定をしたい, Googleグループ, ML, 不在, 自動返信, December 22, 2022 10:50 AMGmailでのメールを委任したいです, Gmail, 委任, February 2, 2023 1:00 PMGmailフィルター設定について, Gmail, フィルター, April 18, 2023 3:47 PM迷惑メールに分けられてしまう場合, Gmail, フィルター, 迷惑メール, September 6, 2023 2:43 PM |
| Gmailフィルター設定について dffca6d1f42d4db890d36152138ec174.md | 【受信トレイの整理】Gmailのフィルター設定を使用すると、特定の条件を満たすメールを自動的にラベル付け、アーカイブ、削除、スターを付けたり、自動返信を送信することができます。フィルターを設定するには、以下の手順を実行します。以下の例は 「障害」のキーワードにフィルタを設定した場合となります。1. Gmailのウェブサイトにアクセスします。2. 検索バーに「障害」と入力します。3. 検索バー右端にある「検索バーの表示」をクリックします。!Untitled（送信元、件名、本文など）のフィルタ条件を追加します。設定後、右下の「フィルタを作成」をクリックします。!Untitled1. |
| 迷惑メールに分けられてしまう場合 4b3d82f2228645d8a576ee408141cfcf.md | 迷惑メールに分けられてしまう場合タグ: Gmail, フィルター, 迷惑メール最終更新日時: September 6, 2023 2:43 PM |
| Gmail c11dc494f40b4ab49a4b710299d2c746_all.csv | Gmailが見れません。Googleワークスペースにログインできていないようです。, Gmail, ログイン, February 25, 2023 7:48 PM新規ML（メーリングリスト）を作りたい。, Googleグループ, ML, メーリングリスト, December 21, 2022 5:14 PMGoogleグループを廃止して、同じアカウント名でGoogleユーザーアカウントを作成することは可能でしょうか？, Googleグループ, ML, ユーザーアカウント, December 22, 2022 10:51 AMGoogleグループで不在通知連絡などの自動返信設定をしたい, Googleグループ, ML, 不在, 自動返信, December 22, 2022 10:50 AMGmailでのメールを委任したいです, Gmail, 委任, February 2, 2023 1:00 PMGmailフィルター設定について, Gmail, フィルター, April 18, 2023 3:47 PM迷惑メールに分けられてしまう場合, Gmail, フィルター, 迷惑メール, September 6, 2023 2:43 PM |
| Google Workspace 67efcf2c605e4aa096f699069559433a.md | **Gmail機能による「送信取り消し」設定****（送信後、他操作を行っていない場合に限って、30秒間取り消しを行うことができます）※以下設定されていない場合は設定を行ってください。（歯車 → 設定 → 全般 → 送信取り消し）!b107e7e0-738d-4e87-a67f-dbe00ca14795.jpg- **Gmail メール誤送信時の対応方法について情報セキュリティ事件・事故として多いGmailでメール誤送信への対応を解説します。- ****Gmail機能による送信取り消し（※送信後最大30秒以内）****上記で解説した送信取り消し機能が設定してあれば、送信直後であればメール送信を取り消すことができます。!9bf4eedc-996b-414d-9876-9f48d3449b4c.png- ****Active!!GateSS機能による添付ファイル削除****添付ファイルを行った状態で誤送信を行ってしまった場合は、Active! |
| Step 3 Step 4 First week セルフオンボーディングのときに読むページ e87cba0f406d4ad5b7a482b104c8d8d3.md | Gmail の便利機能Gmail 画面右上のサポートアイコン（？ マーク）から開けるヘルプで便利なショートカットや便利な機能を調べることができます。スターやフィルタ機能などとショートカット操作を活用して作業効率を上げていきましょう。 |
| Google Workspace 67efcf2c605e4aa096f699069559433a.md | 「保存」後、メール送付すれば情報保護モードして扱われる- 受信- Gmailで受信する場合- Gmailで受信した場合は、そのまま表示される。- その他のサービスもしくはメーラーソフトで受信する場合- メールにGoogleのWebサイトへのリンクがありそこからGmailが表示される※次のサービス・ソフトで検証済み。【Thunderbird】【Shuriken 2018】【Biglobe Webメール】【Yahoo! Webメール】- ヘルプ- 【送信者】有効期限が切れる前にアクセス権を取り消したいGmailの送信済み欄から該当するメールを選択し、[アクセス権を取り消す] をクリックします。!1157f35d-7228-49bf-949f-62ed472c59f9.png- 【受信者】メールの有効期限が切れている有効期限前に期限が切れている場合は送信者が有効期限前にアクセス権の取り消しを行った可能性があります。必要に応じて送信者にお問い合わせください。 |
| Gmailでのメールを委任したいです faf09a5ce9cc43d1b9aaa88046b6d2fb.md | 【回答】管理者であれば設定可能です。help-meへ詳細を記載していただき、依頼してください。参考: |
| Google Workspace 67efcf2c605e4aa096f699069559433a.md | ****送信先のオートコンプリートの防止****Gmailの連絡先オートコンプリート機能で、送信先の予測が表示されると、名前が似た方を誤って入力する事故が発生しやすくなります。このため、お客様のメールアドレスを連絡先に登録しないようにして、予測候補に表示されないようにすることをおすすめします。****1. お客様連絡先の削除（既存情報の削除）****• を開いて、"連絡先"と"その他の連絡先"を削除します。****2. お客様連絡先自動追加設定の無効化****• [Gmail設定] - [全般] 内の「連絡先を作成してオートコンプリートを利用」の設定を、「手動で連絡先を追加する」に変更します。!f63892bc-634d-4fd1-bf5f-73b8f4e6419b.png |
| Googleグループ（兼メーリングリスト） 3f47c96f78b34697ab940aaa671fbfc5.md | 自分が所属しているグループの確認方法「Googleグループ」のマイグループでご確認ください。GoogleホームページのGoogleアプリ「グループ」から開けます。- サンプル画面!Untitled |
| 全社共通で必須・推奨する設定 b8a757040a91463ba1bd117555f7402f.md | 推奨設定事項以下の項目は全社としては推奨にしています。他の手段などでご自身が使いやすい方法があればそちらを利用してもらって構いません。- Google Workspace / Google Apps1. 【Gmail】ラベルの新規作成2. 【Gmail】フィルタ設定による自動メール振り分け3. 【Gmail】カレンダーの出欠連絡を Gmail でフィルタする4. 【Gmail】メールのアーカイブ又はミュート5. 【Gmail】Gmailのキーボードショートカット6. 【Meet】画面共有は[ウィンドウ]、または[タブ]を推奨- Googleカレンダーの通知設定（任意）会議主催者が出欠可否返答メールなどを受信したくない場合に設定してください1. Googleカレンダーを開きます2. 歯車アイコン＞設定を選択します3. |
| Gmailフィルター設定について dffca6d1f42d4db890d36152138ec174.md | Gmailフィルター設定についてタグ: Gmail, フィルター最終更新日時: April 18, 2023 3:47 PM |
| Google Workspace 67efcf2c605e4aa096f699069559433a.md | **メール誤送信予防設定**以下の設定は必ず実施してください。 |
| 運用してみてのノウハウ、Tips 45982892545b4266a6b1d2c1ddecf613.md | **チャンネルに複数メンバーをまとめて招待したい****/invite コマンドでは1人ずつしか招待できず、/invite @user01 @user02 のように複数指定できないため紹介する。1. メッセージフィールドに招待メンバーを@user01 @user02 @user03 @user04**のように列挙して投稿する。!invite01.png1. Slackbotからチャンネルにいないメンバーを招待するかどうか聞かれるのでボタンを選択し、招待する。!invite02.png |
| 全社共通で必須・推奨する設定 b8a757040a91463ba1bd117555f7402f.md | 必須の設定・確認事項以下の項目は全社として必須設定にしています- Google Workspace / Google Apps社内の標準システムはGoogle WorkspaceですメールはGmail、カレンダーはGoogleカレンダー、ファイル共有はGoogle共有ドライブを利用しています※PCローカルのメールクライアントアプリケーション利用は禁止です- Gmail：誤送信防止設定【重要】- 以下のページにある「メール誤送信予防設定」「Gmailで情報保護モードを利用する」を必ず行ってください- Gmail メール誤送信時の対応方法について- Googleカレンダー：他者の予定変更 設定Googleカレンダーで会議室を予約したりしますが、初期設定では作成者しか、会議室の予約解除やメンバーの追加などができません |
| Google Workspace 67efcf2c605e4aa096f699069559433a.md | **Googleグループ（メーリングリスト）利用方法****注意事項****MLの作成/削除・メンバー追加/削除依頼についてワークフローにて申請を上げて下さい。申請に従ってMLが作成されます。指定できるドメインは下記 社内ドメイン を参照してください。ここからアカウント申請書を直接開けます※ML利用開始後1年以上メールを受信していない場合、利用していないと判断し削除することがあります。**1. 業務→a.アカウント申請1. 部門名2. 件名3. ML（メーリングリスト）1. ML作成2. ML削除3. メンバー追加4. メンバー削除4. ML名5. ユーザーアカウント名1. ML作成、メンバー追加・削除の場合は入力必須6. |
| Googleグループ（兼メーリングリスト） 3f47c96f78b34697ab940aaa671fbfc5.md | **【公式】Google グループを使用してグループからのメールの受信を停止する、グループから退会する****※DIV-xxxxのグループからは脱退禁止です。☎️ **問い合わせ先ご不明点は#01help-me 情報システム 、情シス、@g-cm-jsys-t1u をメンションしてお問い合わせください。 |
OpenAI
| Filename | Retrieved sentence |
|---|---|
| Gmail c11dc494f40b4ab49a4b710299d2c746.csv | Gmailが見れません。Googleワークスペースにログインできていないようです。, Gmail, ログイン, February 25, 2023 7:48 PM 新規ML（メーリングリスト）を作りたい。, Googleグループ, ML, メーリングリスト, December 21, 2022 5:14 PM Googleグループを廃止して、同じアカウント名でGoogleユーザーアカウントを作成することは可能でしょうか？, Googleグループ, ML, ユーザーアカウント, December 22, 2022 10:51 AM Googleグループで不在通知連絡などの自動返信設定をしたい, Googleグループ, ML, 不在, 自動返信, December 22, 2022 10:50 AM Gmailでのメールを委任したいです, Gmail, 委任, February 2, 2023 1:00 PM Gmailフィルター設定について, Gmail, フィルター, April 18, 2023 3:47 PM 迷惑メールに分けられてしまう場合, Gmail, フィルター, 迷惑メール, September 6, 2023 2:43 PM |
| Gmail c11dc494f40b4ab49a4b710299d2c746_all.csv | Gmailが見れません。Googleワークスペースにログインできていないようです。, Gmail, ログイン, February 25, 2023 7:48 PM 新規ML（メーリングリスト）を作りたい。, Googleグループ, ML, メーリングリスト, December 21, 2022 5:14 PM Googleグループを廃止して、同じアカウント名でGoogleユーザーアカウントを作成することは可能でしょうか？, Googleグループ, ML, ユーザーアカウント, December 22, 2022 10:51 AM Googleグループで不在通知連絡などの自動返信設定をしたい, Googleグループ, ML, 不在, 自動返信, December 22, 2022 10:50 AM Gmailでのメールを委任したいです, Gmail, 委任, February 2, 2023 1:00 PM Gmailフィルター設定について, Gmail, フィルター, April 18, 2023 3:47 PM 迷惑メールに分けられてしまう場合, Gmail, フィルター, 迷惑メール, September 6, 2023 2:43 PM |
| Googleグループで不在通知連絡などの自動返信設定をしたい 29a0d9ff6b604f47ba567a7f48f66708.md | 【回答】 MLのオーナーであれば設定することが可能です。以下Googleからの公式ドキュメントを参考に設定をお願いします。 |
| Googleグループ（兼メーリングリスト） 3f47c96f78b34697ab940aaa671fbfc5.md | 【公式】Google グループを使用してグループからのメールの受信を停止する、グループから退会する ※DIV-xxxxのグループからは脱退禁止です。 ☎️ 問い合わせ先 ご不明点は#01help-me 情報システム 、情シス、@g-cm-jsys-t1u をメンションしてお問い合わせください。 |
| 全社共通で必須・推奨する設定 b8a757040a91463ba1bd117555f7402f.md | 推奨設定事項 以下の項目は全社としては推奨にしています。 他の手段などでご自身が使いやすい方法があればそちらを利用してもらって構いません。 - Google Workspace / Google Apps 1. 【Gmail】ラベルの新規作成 2. 【Gmail】フィルタ設定による自動メール振り分け 3. 【Gmail】カレンダーの出欠連絡を Gmail でフィルタする 4. 【Gmail】メールのアーカイブ又はミュート 5. 【Gmail】Gmailのキーボードショートカット 6. 【Meet】画面共有は[ウィンドウ]、または[タブ]を推奨 - Googleカレンダーの通知設定（任意） 会議主催者が出欠可否返答メールなどを受信したくない場合に設定してください 1. Googleカレンダーを開きます 2. 歯車アイコン＞設定を選択します 3. |
| Google Workspace 67efcf2c605e4aa096f699069559433a.md | Googleグループ（メーリングリスト）利用方法 注意事項 MLの作成/削除・メンバー追加/削除依頼について ワークフローにて申請を上げて下さい。申請に従ってMLが作成されます。指定できるドメインは下記 社内ドメイン を参照してください。 ここからアカウント申請書を直接開けます ※ML利用開始後1年以上メールを受信していない場合、利用していないと判断し削除することがあります。 1. 業務→a.アカウント申請 1. 部門名 2. 件名 3. ML（メーリングリスト） 1. ML作成 2. ML削除 3. メンバー追加 4. メンバー削除 4. ML名 5. ユーザーアカウント名 1. ML作成、メンバー追加・削除の場合は入力必須 6. |
| Googleグループを廃止して、同じアカウント名でGoogleユーザーアカウントを作成する a9b0e26ea3064491800cd8bea89f5dec.md | 【回答】 アカウントを廃止してるのであれば、Googleアカウント⇔Googleグループ（ML）双方で移行しながら同じアカウントを繰り返し利用することは可能となります。 |
| Step 2 Day2 セルフオンボーディングのときに読むページ 1371e78e304a4b98a6738bf757b76c9d.md | メール宛先確認用プラグインの導入 Google Workspace Gmail や Google Drive など Google Workspace のサービスについて記載したページです。 💡 上記ページにあるメール誤送信予防設定はセキュリティ事故防止のために重要なことですので必ず目を通してプラグインの導入を実施してください。 |
| Google Workspace 67efcf2c605e4aa096f699069559433a.md | 部門長：所属部門長 Googleグループ（メーリングリスト）メンバー確認方法 - 自身が登録されているMLを確認する方法 ※ここからグループを抜けることができます。 抜ける際は業務に支障がないことをご確認のうえ、慎重にご判断ください。 !image2021-7-1_9-18-4.png - MLに登録されているメンバーを確認する方法 ※xxxxxにはML名が入ります Googleグループ（メーリングリスト）から退出する 異動などでプロジェクト等のGoogleグループから退出したい場合は以下の手順を参照してご自身で退出が可能です。 【公式】グループから退会する、またはグループからのメールの受信を停止する |
| Step 3 Step 4 First week セルフオンボーディングのときに読むページ e87cba0f406d4ad5b7a482b104c8d8d3.md | Gmail の便利機能 Gmail 画面右上のサポートアイコン（？ マーク）から開けるヘルプで便利なショートカットや便利な機能を調べることができます。スターやフィルタ機能などとショートカット操作を活用して作業効率を上げていきましょう。 |
| Googleグループを廃止して、同じアカウント名でGoogleユーザーアカウントを作成する a9b0e26ea3064491800cd8bea89f5dec.md | 【質問例】 Googleグループを廃止後、同じ名前でGoogleユーザのアカウントを作成することは可能なものでしょうか。 example@classmethod.jp のGoogleグループを廃止（ML)して、同じ名前の example@classmehtod.jp というGmailのユーザを作成するイメージをしています。 |
| Googleグループを廃止して、同じアカウント名でGoogleユーザーアカウントを作成する a9b0e26ea3064491800cd8bea89f5dec.md | Googleグループを廃止して、同じアカウント名でGoogleユーザーアカウントを作成することは可能でしょうか？ タグ: Googleグループ, ML, ユーザーアカウント 最終更新日時: December 22, 2022 10:51 AM |
| Gmailフィルター設定について dffca6d1f42d4db890d36152138ec174.md | 【受信トレイの整理】 Gmailのフィルター設定を使用すると、特定の条件を満たすメールを自動的にラベル付け、アーカイブ、削除、スターを付けたり、自動返信を送信することができます。 フィルターを設定するには、以下の手順を実行します。 以下の例は 「障害」のキーワードにフィルタを設定した場合となります。 1. Gmailのウェブサイトにアクセスします。 2. 検索バーに「障害」と入力します。 3. 検索バー右端にある「検索バーの表示」をクリックします。 !Untitled （送信元、件名、本文など）のフィルタ条件を追加します。設定後、右下の「フィルタを作成」をクリックします。 !Untitled 1. |
| 迷惑メールに分けられてしまう場合 4b3d82f2228645d8a576ee408141cfcf.md | 【回答】 受信トレイから「フィルタを作成」をクリックします。 迷惑メールにしないという項目がありますのでそちらにチェックをしてみてください。 次回以降は受信トレイに分類されるようになります。 |
| Google Workspace 67efcf2c605e4aa096f699069559433a.md | 「保存」後、メール送付すれば情報保護モードして扱われる - 受信 - Gmailで受信する場合 - Gmailで受信した場合は、そのまま表示される。 - その他のサービスもしくはメーラーソフトで受信する場合 - メールにGoogleのWebサイトへのリンクがありそこからGmailが表示される※次のサービス・ソフトで検証済み。【Thunderbird】【Shuriken 2018】【Biglobe Webメール】【Yahoo! Webメール】- ヘルプ - 【送信者】有効期限が切れる前にアクセス権を取り消したいGmailの送信済み欄から該当するメールを選択し、[アクセス権を取り消す] をクリックします。!1157f35d-7228-49bf-949f-62ed472c59f9.png- 【受信者】メールの有効期限が切れている有効期限前に期限が切れている場合は送信者が有効期限前にアクセス権の取り消しを行った可能性があります。必要に応じて送信者にお問い合わせください。 |
| Googleグループで不在通知連絡などの自動返信設定をしたい 29a0d9ff6b604f47ba567a7f48f66708.md | Googleグループで不在通知連絡などの自動返信設定をしたい タグ: Googleグループ, ML, 不在, 自動返信 最終更新日時: December 22, 2022 10:50 AM |
| Google Workspace 67efcf2c605e4aa096f699069559433a.md | 以下、フォルダを共有する場合を想定した場合の手順を紹介します。 【方法A：Googleドライブから共有対象を指定】（推奨） 1. 外部共有用ドライブにフォルダを作成、ファイルをアップロード 2. フォルダの共有ゲストとして共有対象の顧客メールアドレスを追加（通知は行う設定とする） 【方法B：Gmail上でメールを送る際、送信先メールアドレスに対して共有を設定】 1. 外部共有用ドライブにフォルダを作成、ファイルをアップロード 2. Gmailでメール作成時、「ドライブを使用してファイルを挿入」から共有するフォルダを指定、メールにリンクを挿入 3. 送信時、各送信先に対して共有を許可するかを聞かれるため、送信先メールアドレスが正しいことを確認し許可 - ****共有時の外部ユーザー側のオペレーション**** 外部ユーザー側のオペレーションは、Googleアカウントであるかどうかで若干異なります。 |
| Gmailが見れません。 7aa0a9c24edb470ebe906d866862d1eb.md | 【回答】 ChromeにログインできておりGoogleWorkSpaceにアカウントログインできる状態であれば、Gmailのみの以上と考えられます。 キャッシュクリアしていただくか、シークレットウィンドウでGmail参照できるかご確認をお願いします。 |
| Gmailが見れません。 35415401fb0d48e29ef4218cbed85f07.md | 【回答】 ChromeにログインできておりGoogleWorkSpaceにアカウントログインできる状態であれば、Gmailのみの以上と考えられます。 キャッシュクリアしていただくか、シークレットウィンドウでGmail参照できるかご確認をお願いします。 |
| Gmailでのメールを委任したいです faf09a5ce9cc43d1b9aaa88046b6d2fb.md | 【回答】 管理者であれば設定可能です。help-meへ詳細を記載していただき、依頼してください。 参考: |
ケース③ # 回答時にドキュメントがないと生成されたとき
| 質問文 | 生成された回答文 |
|---|---|
| ワークフローの申請フォームのリンクをください | 申し訳ありませんが、ドキュメントにはワークフローの申請フォームのリンクについての具体的な情報は記載されていません。詳細な情報を提供するためには、別途詳細な情報が必要となります。[5],[9] |
出力結果
Titan
| Filename | Retrieved sentence |
|---|---|
| ②名刺発行依頼：ワークフロー申請手順 ad444d04a4ac4c27b1d582d1e84f9bde.md | Q&A - 急ぎで名刺がほしいです ワークフローを申請後、#01-help-me 総務チームへご連絡ください。 また、部門長へワークフローの承認をいただけるようご連絡ください。 配送日や追加料金など詳細を総務チームからSlackにてご連絡します。 なお、最短でも東京拠点の場合は1営業日、地方拠点は2営業日必要となります。 また、宅配業者の配送事情等によりお届けが遅くなる場合がございますのでご了承ください。 --- ☎️ 問い合わせ先 ご不明点は#01-help-me 「@総務チームsomuteam」 にお問い合わせください。 |
| 社内ワークフローガイド 691cb9f4f0c84988a358b53c278cd450.md | ワークフロー概要 「〇〇を行っても良いか」について事前に伺いを立て、実施OKの承認をもらうための必要な手続きです －業務に必要な物品を購入したいとき －ソフトウェアライセンス、ITツール／サービスなどを利用したいとき －名刺発行やPC購入などを総務へ依頼したいとき －作業を外部に委託したいとき －懇親会やウェルカムランチを開催したいとき －セミナーやイベントに出展・参加したいとき（費用が発生するもの） など |
| ②名刺発行依頼：ワークフロー申請手順 ad444d04a4ac4c27b1d582d1e84f9bde.md | にご相談ください。 ・本社のみ ・本社＋札幌 ・本社＋仙台 ・本社＋上越妙高 ・本社＋名古屋 ・本社＋大阪 ・本社＋福岡 ・本社＋沖縄 | | 携帯番号 | 名刺に表示する携帯番号/モバチョ番号を記入 （携帯番号を表示しない場合は空欄） | | 必要枚数 | 必要となる枚数を100枚単位で選択 （オンライン名刺の場合は選択不要） | | 備考 | ・急ぎ、名刺が必要となる場合は備考に記入してください。 ・AN（アノテーション社）、PZ（プリズマティクス社）の名刺をご希望の方は、部門名で各社を選択のうえ、備考に記入してください。「例. PZ名刺をお願いします。」 ・オンライン名刺をご希望の方は、備考に記入してください。「例. |
| ②名刺発行依頼：ワークフロー申請手順 ad444d04a4ac4c27b1d582d1e84f9bde.md | ②名刺発行依頼：ワークフロー申請手順 最終修正日：2023/12/12 🤚 はじめに 名刺を発注したい場合のワークフローの作成・申請手順を記載しています。 |
| 社内ワークフローガイド 691cb9f4f0c84988a358b53c278cd450.md | ワークフローURL 問い合わせ先：#help-ワークフロー |
| ②名刺発行依頼：ワークフロー申請手順 ad444d04a4ac4c27b1d582d1e84f9bde.md | 名刺発行依頼ワークフローの作成・申請 名刺を発注したい場合は、「②名刺発行依頼」のワークフローを作成し申請します。部門長の承認後、発注します。 オンライン名刺をご希望の場合も、ワークフローを作成し申請してください。 ワークフロー（＞購入 - ②名刺発行依頼）はこちらから → ②名刺発行依頼 ワークフローの申請例はこちら → ワークフロー申請例 | 項目 | 詳細・注意事項 | | --- | --- | | 部門名 | 費用負担する部署名を選択 （基本的には申請者の所属部署になります。 |
| ①購入申請：ワークフロー申請手順 1ec6f750ea72458cad82e3b9e3065274.md | - 銀行振込で、担当者に直接請求書が届く場合 請求書データを添付のうえ申請してください。 - 銀行振込で、経理部門へ直接請求書が届く場合 請求書データは添付不要です。 - 小口現金仮払い希望の場合 請求書データは添付不要です。そのまま申請して支払依頼を進めてください。 経理確認後、現金の受取方法・日時等の詳細について経理からご連絡します。 - 立替経費やコーポレートカード決済の場合 経理への支払依頼、申請は不要です。 ☎️ 問い合わせ先 ご不明点は#01-help-me 「@総務チームsomuteam」 にお問い合わせください。 振込方法や支払のご連絡は 経理チーム にお問い合わせください。 |
| ②名刺発行依頼：ワークフロー申請手順 ad444d04a4ac4c27b1d582d1e84f9bde.md | その他 - 25日AM10:00までにワークフロー申請いただいた場合は翌月1日（土日祝日の場合は翌営業日）に配布します。イベント等で急ぎ名刺が必要となる場合は、備考欄に記入し、#01-help-me にご連絡ください。 （最短でも東京拠点の場合は1営業日、地方拠点は2営業日必要となります。 また、宅配業者の配送事情等によりお届けが遅くなる場合がございますのでご了承ください。） - 現在の名刺デザインでは、資格ロゴ（AWS資格ロゴ等）の掲載はしておりません。 |
| ②名刺発行依頼：ワークフロー申請手順 ad444d04a4ac4c27b1d582d1e84f9bde.md | ⚠️ 注意事項 - 名刺はワークフローの部門長承認後に発注作業を進めます。 - 受付から納品まで通常2～3日かかります。（発注の翌日に出荷） - 写真名刺は発注～納品にかかる時間以外、別途データ整形作業やデータのシステム登録について最低2~3営業日は追加で必要となります。 - 急ぎで名刺が必要となる場合は、#01-help-me にご連絡ください。（最短でも東京拠点の場合は1営業日、地方拠点は2営業日必要となります。また、宅配業者の配送事情等によりお届けが遅くなる場合がございますのでご了承ください。送料以外、別途特急作業手数料が発生します。） - 依頼時間によっては翌日対応になります。（余裕をもっての依頼をお願いします） |
| ワークフローの申請について知りたい d6f015d8d34d4b6da58aa367da341b5e.md | ワークフローの申請について知りたい 主管部門: 総務部 関連ページへのリンク: ./%E7%94%B3%E8%AB%8B%E3%83%BB%E6%89%8B%E7%B6%9A%E3%81%8D%204c672d4f88bd490784459ae89db3088c.md 関連用語: 購入、発注、ワークフロー | 社内ワークフローガイド (./%E7%94%B3%E8%AB%8B%E3%83%BB%E6%89%8B%E7%B6%9A%E3%81%8D%204c672d4f88bd490784459ae89db3088c/%E7%A4%BE%E5%86%85%E3%83%AF%E3%83%BC%E3%82%AF%E3%83%95%E3%83%AD%E3%83%BC%E3%82%AB%E3%82%99%E3%82%A4%E3%83%88%E3%82%99%20691cb9f4f0c84988a358b53c278cd450.md) | | | --- | --- | | 購入・発注ワークフロー申請 (. |
| ①購入申請：ワークフロー申請手順 1ec6f750ea72458cad82e3b9e3065274.md | 部門長の承認後、購入・発注を行います。 - 支払方法を「経理対応（銀行振込・請求書払）」または「経理対応（小口仮払）」に設定した場合部門長承認後に、ワークフローの順番が申請者または購入・発注担当者に進みます。購入・発注後に手順4. 経理への支払依頼を行ってください。- 支払方法を「本人立替（MF経費にて精算）」または「コーポレートカード」に設定した場合手順4. 経理への支払依頼は不要のため、以上で申請完了です。⚠️ 当初の見積額等を大幅に超過することがわかった場合は、あらかじめ承認者である部門長や経理へご相談ください。内容によっては、ワークフローを新たに申請しなおす必要があります。 |
| ①購入申請：ワークフロー申請手順 1ec6f750ea72458cad82e3b9e3065274.md | 1. 経理への支払依頼を申請します。 購入対応者が「自部門対応」の場合、申請者自身が行います。 購入対応者が「総務部委託」の場合、総務（購入・発注担当者）が行います。 ℹ️ 「総務部委託」を選択される場合 ・依頼者/貸与者名の指定をお願いします。 ※「目的・効果欄」または「備考欄」にご記載ください。 |
| 社内ワークフローガイド 691cb9f4f0c84988a358b53c278cd450.md | - 利用者名 - 利用者のメールアドレス - 利用するPC（ソフトウェアライセンスなどの場合）※なお、セキュリティにかかわる以下のワークフローについては代理申請が認められていません。 必ず本人からの申請をお願いします。【本人申請必須のワークフロー】- 06.SSL-VPN接続利用申請書 |
| 社内ワークフローガイド 691cb9f4f0c84988a358b53c278cd450.md | 購入系ワークフロー（購入申請・名刺発注など） 購入・発注ワークフロー申請 購入系ワークフローの申請手順についてはこちらに詳細な手順があります。 ※利用部門から直接 PC/情報機器購入の申請はおやめください |
| 社内ワークフローガイド 691cb9f4f0c84988a358b53c278cd450.md | 業務系ワークフロー（アカウント申請・各種利用申請など） 業務系ワークフローについては手順書の存在するものはワークフロー一覧に手順書・関連ページのリンクがあります。 |
| 社内ワークフローガイド 691cb9f4f0c84988a358b53c278cd450.md | ⚠️ご注意ください - ワークフローは都度の新規作成を強く推奨します 過去のものをコピーして再利用する場合、メニュー内容が正しいかご確認ください（非推奨です）。 ワークフローの書式は社内運用の変更に合わせて短期間で内容が変化していきます。 サテライトオフィスワークフローの仕様上、過去のものをコピーして再申請を行うと、その時点のワークフロー書式が使われてしまい、変更ポイントが反映されないものになってしまいます。 - 代理申請の場合は実際の利用者をご明記ください ワークフローは原則として利用者本人からの申請を想定しています。 やむを得ない事情、ビジネスパートナーの代理申請などがある場合で、利用者欄がないワークフローは備考等に以下をご記載ください。 |
| ②名刺発行依頼：ワークフロー申請手順 ad444d04a4ac4c27b1d582d1e84f9bde.md | 【写真名刺希望について、写真の添付が不要な場合】 ・過去に写真名刺の発注実績があり、写真の差し替えを希望しない 【写真名刺希望について、写真の添付が必要な場合】 ・初めて写真名刺の発注依頼を出す場合 ・過去に写真名刺の発注実績があり、写真の差し替えを希望する場合 | | 名刺部門名 | 名刺に表示する部門名を記入 | | 肩書き | 名刺に表示する肩書きを記入 ※肩書きは日本語最大28文字、英語最大43文字までしか記載できません。 ・特に肩書がない場合は「なし」と記入してください。 ・肩書が2つある場合はスラッシュを入れて記入してください。「例. |
| ①購入申請：ワークフロー申請手順 1ec6f750ea72458cad82e3b9e3065274.md | ①購入申請：ワークフロー申請手順 最終更新：2022/8/1 🤚 はじめに 業務に必要な備品等（PC、ソフトウェアライセンス、オフィス消耗品・備品、書籍等）を購入したい場合のワークフローの作成・申請手順を記載しています。 経理への支払依頼も申請フローに含まれています。 ⚠️ 注意事項 必ず購入・発注前に申請してください。 （「〇〇を行っても良いか」について事前に伺いを立て、実施OKの承認をもらうためです。） --- 🔷対象者 備品等を購入したい方 📋目次 --- |
| 購入・発注ワークフロー申請 aeaaa30e113f49d398df790f61747221.md | 申請の流れ 事前申請（購入・発注前）が必要です。 急ぎでの依頼の場合は #01-help-me へのご連絡もあわせてお願いします。 ①購入申請 ①購入申請：ワークフロー申請手順 購入・発注伺い → 上長承認 → 購入・発注（本人又は総務手配） → 経理への支払依頼 ②名刺発行依頼 ②名刺発行依頼：ワークフロー申請手順 発行依頼 → 上長承認 → 総務手配 ③出張申請 ※現時点ではワークフロー申請を必須としておりません。（Slack等にて事前に部門長承認を得て、出張後に各自立替精算または総務へ出張手配依頼を行ってください。東横イン・スカイマークなどの法人契約は総務・経理にて処理します。 |
| ②名刺発行依頼：ワークフロー申請手順 ad444d04a4ac4c27b1d582d1e84f9bde.md | 「例. マネージャー / ソリューションアーキテクト」 | | 氏名（フルネーム） | 名刺に表示する氏名を記入 | | メールアドレス | 名刺に表示するメールアドレスを記入 ※アノテーションの名刺の場合は@ annotation.co.jpを記載してください。 ※プリズマの名刺の場合は@ prismatix.jpを記載してください。 | | 表記住所 | 名刺に表示する住所を選択 2023年12月12日現在、名刺に記載できる住所は下記になります。 下記以外の住所を希望される場合は、にご相談ください。 |
OpenAI
| Filename | Retrieved sentence |
|---|---|
| 社内ワークフローガイド 691cb9f4f0c84988a358b53c278cd450.md | ⚠️ご注意ください - ワークフローは都度の新規作成を強く推奨します 過去のものをコピーして再利用する場合、メニュー内容が正しいかご確認ください（非推奨です）。 ワークフローの書式は社内運用の変更に合わせて短期間で内容が変化していきます。 サテライトオフィスワークフローの仕様上、過去のものをコピーして再申請を行うと、その時点のワークフロー書式が使われてしまい、変更ポイントが反映されないものになってしまいます。 - 代理申請の場合は実際の利用者をご明記ください ワークフローは原則として利用者本人からの申請を想定しています。 やむを得ない事情、ビジネスパートナーの代理申請などがある場合で、利用者欄がないワークフローは備考等に以下をご記載ください。 |
| 社内ワークフローガイド 691cb9f4f0c84988a358b53c278cd450.md | 業務系ワークフロー（アカウント申請・各種利用申請など） 業務系ワークフローについては手順書の存在するものはワークフロー一覧に手順書・関連ページのリンクがあります。 |
| 社内ワークフローガイド 691cb9f4f0c84988a358b53c278cd450.md | 直接特定のワークフローを開きたい 直接特定のワークフローを開きたい場合は、下記のようなURLの末尾に対象申請書のテンプレートIDを付けてください。直接申請書を開かせることができます。 /＜＜テンプレートID＞＞ 例(01.アカウント申請書)：Untitled Database |
| ①購入申請：ワークフロー申請手順 1ec6f750ea72458cad82e3b9e3065274.md | 購入申請ワークフローの作成・申請 1. ワークフローの申請フォームを開きます。 ワークフロー（＞購入 - ①購入申請）はこちらから → ①購入申請 1. |
| 【運用終了】契約承認・締結フロー 87837809de124f9181c640410c3c2c71.md | 申請手順 《申請者の方へ》 ①Slackチャンネル#tf-契約決裁wfを開きます ②メッセージ欄に/契約を入力して、メニューからWF申請を選択します !契約決裁wf-shortcut.png ③開いたフォームを入力します（すべてが必須項目です） !契約書サイン申請.png ④緑の申請ボタンを押して申請完了します |
| 2 副業・兼業を実施する手順 4868e217c4114385a03b164ea1373aef.md | 2.フォームの申請 以下のフォームに必要事項を入力し、申請してください。 こちらは労務チームで管理しております。 |
| 社内ワークフローガイド 691cb9f4f0c84988a358b53c278cd450.md | ワークフローURL 問い合わせ先：#help-ワークフロー |
| 購入・発注ワークフロー申請 aeaaa30e113f49d398df790f61747221.md | 申請の流れ 事前申請（購入・発注前）が必要です。 急ぎでの依頼の場合は #01-help-me へのご連絡もあわせてお願いします。 ①購入申請 ①購入申請：ワークフロー申請手順 購入・発注伺い → 上長承認 → 購入・発注（本人又は総務手配） → 経理への支払依頼 ②名刺発行依頼 ②名刺発行依頼：ワークフロー申請手順 発行依頼 → 上長承認 → 総務手配 ③出張申請 ※現時点ではワークフロー申請を必須としておりません。（Slack等にて事前に部門長承認を得て、出張後に各自立替精算または総務へ出張手配依頼を行ってください。東横イン・スカイマークなどの法人契約は総務・経理にて処理します。 |
| Untitled Database 297a0b8409584606b8136ac89e2b2bf7_all.csv | 名刺発注の申請を行う, ②名刺発行依頼：ワークフロー申請手順 (%E8%B3%BC%E5%85%A5%E3%83%BB%E7%99%BA%E6%B3%A8%E3%83%AF%E3%83%BC%E3%82%AF%E3%83%95%E3%83%AD%E3%83%BC%E7%94%B3%E8%AB%8B%20aeaaa30e113f49d398df790f61747221/%E2%91%A1%E5%90%8D%E5%88%BA%E7%99%BA%E8%A1%8C%E4%BE%9D%E9%A0%BC%EF%BC%9A%E3%83%AF%E3%83%BC%E3%82%AF%E3%83%95%E3%83%AD%E3%83%BC%E7%94%B3%E8%AB%8B%E6%89%8B%E9%A0%86%20ad444d04a4ac4c27b1d582d1e84f9bde.md) 購入, ③出張申請, ※ワークフロー申請は不要です。詳しくは右記リンクを参照のこと, |
| ③出張申請 816453a8d88147afb38696ea4c1d7e46.md | ③出張申請 カテゴリー: 購入 利用手順・関連ページ: 出張にともなう宿泊施設・航空券の予約について (../../%E5%87%BA%E5%BC%B5%E3%81%AB%E3%81%A8%E3%82%82%E3%81%AA%E3%81%86%E5%AE%BF%E6%B3%8A%E6%96%BD%E8%A8%AD%E3%83%BB%E8%88%AA%E7%A9%BA%E5%88%B8%E3%81%AE%E4%BA%88%E7%B4%84%E3%81%AB%E3%81%A4%E3%81%84%E3%81%A6%20eff6426f9fa84387bc94e724502015bf.md) 概要: ※ワークフロー申請は不要です。詳しくは右記リンクを参照のこと |
| ②名刺発行依頼：ワークフロー申請手順 ad444d04a4ac4c27b1d582d1e84f9bde.md | ②名刺発行依頼：ワークフロー申請手順 最終修正日：2023/12/12 🤚 はじめに 名刺を発注したい場合のワークフローの作成・申請手順を記載しています。 |
| Untitled Database 297a0b8409584606b8136ac89e2b2bf7.csv | 名刺発注の申請を行う, ②名刺発行依頼：ワークフロー申請手順 (%E8%B3%BC%E5%85%A5%E3%83%BB%E7%99%BA%E6%B3%A8%E3%83%AF%E3%83%BC%E3%82%AF%E3%83%95%E3%83%AD%E3%83%BC%E7%94%B3%E8%AB%8B%20aeaaa30e113f49d398df790f61747221/%E2%91%A1%E5%90%8D%E5%88%BA%E7%99%BA%E8%A1%8C%E4%BE%9D%E9%A0%BC%EF%BC%9A%E3%83%AF%E3%83%BC%E3%82%AF%E3%83%95%E3%83%AD%E3%83%BC%E7%94%B3%E8%AB%8B%E6%89%8B%E9%A0%86%20ad444d04a4ac4c27b1d582d1e84f9bde.md) 購入, ③出張申請, ※ワークフロー申請は不要です。詳しくは右記リンクを参照のこと, |
| 契約・押印決裁WF（2023 12 1～） 06e4e94a545942218edf99a94d35a2b6.md | 申請手順 《申請者の方へ》 ①Slackチャンネル#tf-契約押印決裁wfを開きます ②メッセージ欄に/契約を入力して、メニューからWF申請を選択します !契約決裁wf-shortcut.png ③開いたフォームを入力します !契約押印決裁WF_申請フォーム1.png !契約押印決裁WF_申請フォーム2.png ④緑の申請ボタンを押して申請完了します |
| ②名刺発行依頼：ワークフロー申請手順 ad444d04a4ac4c27b1d582d1e84f9bde.md | その他 - 25日AM10:00までにワークフロー申請いただいた場合は翌月1日（土日祝日の場合は翌営業日）に配布します。イベント等で急ぎ名刺が必要となる場合は、備考欄に記入し、#01-help-me にご連絡ください。 （最短でも東京拠点の場合は1営業日、地方拠点は2営業日必要となります。 また、宅配業者の配送事情等によりお届けが遅くなる場合がございますのでご了承ください。） - 現在の名刺デザインでは、資格ロゴ（AWS資格ロゴ等）の掲載はしておりません。 |
| ②名刺発行依頼：ワークフロー申請手順 ad444d04a4ac4c27b1d582d1e84f9bde.md | 名刺発行依頼ワークフローの作成・申請 名刺を発注したい場合は、「②名刺発行依頼」のワークフローを作成し申請します。部門長の承認後、発注します。 オンライン名刺をご希望の場合も、ワークフローを作成し申請してください。 ワークフロー（＞購入 - ②名刺発行依頼）はこちらから → ②名刺発行依頼 ワークフローの申請例はこちら → ワークフロー申請例 | 項目 | 詳細・注意事項 | | --- | --- | | 部門名 | 費用負担する部署名を選択 （基本的には申請者の所属部署になります。 |
| ②名刺発行依頼：ワークフロー申請手順 ad444d04a4ac4c27b1d582d1e84f9bde.md | Q&A - 急ぎで名刺がほしいです ワークフローを申請後、#01-help-me 総務チームへご連絡ください。 また、部門長へワークフローの承認をいただけるようご連絡ください。 配送日や追加料金など詳細を総務チームからSlackにてご連絡します。 なお、最短でも東京拠点の場合は1営業日、地方拠点は2営業日必要となります。 また、宅配業者の配送事情等によりお届けが遅くなる場合がございますのでご了承ください。 --- ☎️ 問い合わせ先 ご不明点は#01-help-me 「@総務チームsomuteam」 にお問い合わせください。 |
| Udemybusiness運用管理 2364f5444ea84f6795f2c939de5c633c.md | アカウント申請方法 ※四半期ごとにユーザー見直しの為、総務で取りまとめ アカウントワークフロー申請→WFに従い、情シス側でAzureAD設定を行う。 - ワークフロー申請方法 １．ワークフローの申請フォームを開く - カテゴリ：業務 - 申請書：01.アカウント申請 上記を選択して「新規申請」をクリック。 |
| Amazon WorkSpaces b2832986f428451f966119c90d6af623.md | 申請方法 1. ワークフロー から「業務」-「Amazon WorkSpaces利用申請書」を申請してください。 2. 所属部門長と情報システムチームの承認が通るとWorkspaces環境が作成されます。 3. ワークフローが承認されたら下記「Workspaces利用方法」を参考に接続してご利用ください。 |
| 社内ワークフローガイド 691cb9f4f0c84988a358b53c278cd450.md | 購入系ワークフロー（購入申請・名刺発注など） 購入・発注ワークフロー申請 購入系ワークフローの申請手順についてはこちらに詳細な手順があります。 ※利用部門から直接 PC/情報機器購入の申請はおやめください |
| 購入・発注ワークフロー申請 aeaaa30e113f49d398df790f61747221.md | 購入・発注ワークフロー申請 最終更新：2022/8/1 🤚 はじめに 「〇〇を行っても良いか」について事前に伺いを立て、実施OKの承認をもらうために必要な手続きであるワークフローの申請について記載しています。 ⚠️ 注意事項 必ず購入・発注前に申請してください。 急ぎでの依頼の場合は #01-help-me へのご連絡もあわせてお願いします。 📋目次 |
分析
ケース① #回答時にドキュメントがないと生成されたとき
| 質問文 | 生成された回答文 |
|---|---|
| 代休を取得する際に必要な手続きはなんですか？ | ドキュメントには代休の取得に関する具体的な手続きについての情報は含まれていません。詳細な手続きについては、人事・労務部門に直接お問い合わせいただくか、社内のガイドラインやマニュアルをご確認ください。 |
ケース1では、代休に関する情報を求めているにもかかわらず、両モデルとも育児休業に関する⽂章を多く抽出していました。
Titan
特別休暇について **連続する20営業日まで**は、特別休暇（有給）として取得することが可能です。 分割して取得する場合は、初回の期間のみ特別休暇の取得が可能です。 産後パパ育休時には特別休暇を取得せず、通常の育児休業%20bcabbc47171141da892ae29466f499ad.md)を取得する際に特別休暇を取得することも可能です。 特別休暇の期間のみ休業される場合でも「育児休業申出書」の提出は必要になりますので、ご注意ください。 ※「就業規則（CM)」第39条（8)
申請方法(Docusign) - 提出期限：**休業開始日の2週間前まで** 育児休業を申出したい旨を、**SlackのDMにて ＠労務チーム** 宛にご連絡ください DocuSign（メール）にて、申請書類をお送りします
OpenAI
育児休業中の特別休暇とならない期間について 育児休業期間中、特別休暇（有給）とならない日については、給与の支給はありません。 その場合は、雇用保険の「育児休業給付金」の申請手続きを行います。 提出いただく書類がありますので、該当する場合は別途ES部労務チームよりご案内いたします。
特別休暇について **男性社員**による育児休業期間のうち、お子様一人あたり **連続する20営業日まで**は、特別休暇（有給）として取得することが可能です。 特別休暇の期間のみ休業される場合でも「育児休業申出書」の提出は必要になりますので、ご注意ください。 ※「就業規則（CM)」第39条（8)
特に、Titanモデルは振替休⽇に関する⽂章を下位の検索結果として抽出していました。
Titan
②-2 休日出勤した日の翌月に振替休日を取得する場合 **パターン「振休（翌月）」を選択**し、申請メッセージに「〇/〇取得分を利用」と入れて、スケジュール申請をする
②-1 休日出勤した日と同月に振替休日を取得する場合 **パターン「振休（同月）」を選択**し、申請メッセージに「〇/〇取得分を利用」と入れて、スケジュール申請をする
ケース1では、代休に関する具体的な手続きの情報がドキュメントに含まれていないため、両モデルとも適切な回答を生成できませんでした。しかし、類似した言葉である "振替休日" に関連する単語が抽出されていることから、Re-ranking手法によって検索精度が向上すると思います。
社内の公式ドキュメントを確認したところ、「社内公式情報/人事・労務/勤怠関連/深夜・休日出勤・振休・欠勤について」というファイルに振替休日についての情報が記載されていました。ただし、ファイル名は「振休」となっているものの、内容は振替休日について説明されていました。
今回のケースでは、代休に関する情報を求めているにもかかわらず、両モデルとも育児休業に関する文章を多く抽出していました。特に、Titanモデルは振替休日に関する文章を下位の検索結果として抽出していました。一方、OpenAIモデルは有給休暇に関する文章を抽出していました。
OpenAI
申請方法 **全日取得する場合** ①パターン「有給（全休）」を選択 !Untitled ②申請メッセージに事由を記載する（私用・体調不良など 詳細は不要です） !Untitled ※KoTの仕様上、有給休暇のみ「申請メッセージ」を未入力で申請ができないため、入力必須となっております。ご了承ください。 ③「スケジュール申請」ボタンを押す **半日取得する場合** ①スケジュール編集画面の「半休/欠勤種別」で『AM休』または『PM休』を選択 ※パターンは変更しません !Untitled ②申請メッセージに事由を記載する（私用・体調不良など 詳細は不要です） ③「スケジュール申請」ボタンを押す
ケース② #回答が正しくない
| 質問文 | 生成された回答文 |
|---|---|
| Gmailのグループメールの作り方を教えてください | Gmailのグループメールの作り方については、以下の手順で行うことができます。 1. Gmailを開き、左上の「Googleアプリ」をクリックします。 2. 「連絡先」をクリックします。 3. 左側のメニューで、「ラベル」をクリックします。 4. 「新しいラベル」をクリックします。 5. ラベル名を入力し、「保存」をクリックします。 6. 「連絡先」をクリックし、追加したい連絡先を選択します。 7. 上部のメニューで、「管理」をクリックします。 8. 「ラベルに追加」をクリックし、作成したラベルを選択します。 以上の手順で、Gmailのグループメールを作成することができます。なお、詳細な手順や画像付きの説明については、Googleの公式サポートページをご覧ください[3]。 |
ケース2では、社内のグループメールの作成方法についての回答が正しくありませんでした。
社内では、グループメールの作成はワークフローの承認を経て⾏われます。両モデルはワークフロー⼿順に関する⽂章を抽出されました。
**Googleグループ（メーリングリスト）利用方法** **注意事項** **MLの作成/削除・メンバー追加/削除依頼について** ワークフローにて申請を上げて下さい。申請に従ってMLが作成されます。指定できるドメインは下記 社内ドメイン を参照してください。 ここからアカウント申請書を直接開けます **※ML利用開始後1年以上メールを受信していない場合、利用していないと判断し削除することがあります。** 1. 業務→a.アカウント申請 1. 部門名 2. 件名 3. ML（メーリングリスト） 1. ML作成 2. ML削除 3. メンバー追加 4. メンバー削除 4. ML名 5. ユーザーアカウント名 1. ML作成、メンバー追加・削除の場合は入力必須 6.
両モデルとも、メーリングリストの管理に関する⽂章を多く抽出していますが、これらの内容はグループメールの作成⽅法とは直接関係がありません。キーワードのマッチングが偏っており、クエリの意図を適切に理解できていないこと思います。
Titan
部門長：所属部門長 **Googleグループ（メーリングリスト）メンバー確認方法** - **自身が登録されているMLを確認する方法** ※ここからグループを抜けることができます。 抜ける際は業務に支障がないことをご確認のうえ、慎重にご判断ください。 !image2021-7-1_9-18-4.png - **MLに登録されているメンバーを確認する方法** ※xxxxxにはML名が入ります **Googleグループ（メーリングリスト）から退出する** 異動などでプロジェクト等のGoogleグループから退出したい場合は以下の手順を参照してご自身で退出が可能です。 【公式】グループから退会する、またはグループからのメールの受信を停止する
Gmailが見れません。Googleワークスペースにログインできていないようです。, Gmail, ログイン, February 25, 2023 7:48 PM 新規ML（メーリングリスト）を作りたい。, Googleグループ, ML, メーリングリスト, December 21, 2022 5:14 PM Googleグループを廃止して、同じアカウント名でGoogleユーザーアカウントを作成することは可能でしょうか？, Googleグループ, ML, ユーザーアカウント, December 22, 2022 10:51 AM Googleグループで不在通知連絡などの自動返信設定をしたい, Googleグループ, ML, 不在, 自動返信, December 22, 2022 10:50 AM Gmailでのメールを委任したいです, Gmail, 委任, February 2, 2023 1:00 PM Gmailフィルター設定について, Gmail, フィルター, April 18, 2023 3:47 PM 迷惑メールに分けられてしまう場合, Gmail, フィルター, 迷惑メール, September 6, 2023 2:43 PM
自分が所属しているグループの確認方法 「Googleグループ」のマイグループでご確認ください。 GoogleホームページのGoogleアプリ「グループ」から開けます。 - サンプル画面 !Untitled
OpenAI
**【公式】Google グループを使用してグループからのメールの受信を停止する、グループから退会する** **※DIV-xxxxのグループからは脱退禁止です。** ☎️ **問い合わせ先** ご不明点は#01help-me **情報システム** 、**情シス、**@g-cm-jsys-t1u をメンションしてお問い合わせください。
ケース③ # 回答時にドキュメントがないと生成されたとき
| 質問文 | 生成された回答文 |
|---|---|
| ワークフローの申請フォームのリンクをください | 申し訳ありませんが、ドキュメントにはワークフローの申請フォームのリンクについての具体的な情報は記載されていません。詳細な情報を提供するためには、別途詳細な情報が必要となります。 |
ケース3では、ワークフローの申請フォームのリンクを求める質問に対し、両モデルとも適切な回答を生成できませんでした。しかし、ワークフローの申請方法に関する文章を幅広く検索されています。
Q&A - **急ぎで名刺がほしいです** ワークフローを申請後、#01-help-me 総務チームへご連絡ください。 また、部門長へワークフローの承認をいただけるようご連絡ください。 配送日や追加料金など詳細を総務チームからSlackにてご連絡します。 なお、最短でも東京拠点の場合は1営業日、地方拠点は2営業日必要となります。 また、宅配業者の配送事情等によりお届けが遅くなる場合がございますのでご了承ください。 --- ☎️ **問い合わせ先** ご不明点は**#01-help-me** 「@総務チームsomuteam」 にお問い合わせください。
- 銀行振込で、**担当者**に直接請求書が届く場合 請求書データを添付のうえ申請してください。 - 銀行振込で、**経理部門**へ直接請求書が届く場合 請求書データは添付不要です。 - 小口現金仮払い希望の場合 請求書データは添付不要です。そのまま申請して支払依頼を進めてください。 経理確認後、現金の受取方法・日時等の詳細について経理からご連絡します。 - 立替経費やコーポレートカード決済の場合 経理への支払依頼、申請は不要です。 ☎️ **問い合わせ先** ご不明点は**#01-help-me** 「@総務チームsomuteam」 にお問い合わせください。 振込方法や支払のご連絡は **経理チーム** にお問い合わせください。
ワークフローの申請について知りたい 主管部門: 総務部 関連ページへのリンク: ./%E7%94%B3%E8%AB%8B%E3%83%BB%E6%89%8B%E7%B6%9A%E3%81%8D%204c672d4f88bd490784459ae89db3088c.md 関連用語: 購入、発注、ワークフロー | 社内ワークフローガイド (./%E7%94%B3%E8%AB%8B%E3%83%BB%E6%89%8B%E7%B6%9A%E3%81%8D%204c672d4f88bd490784459ae89db3088c/%E7%A4%BE%E5%86%85%E3%83%AF%E3%83%BC%E3%82%AF%E3%83%95%E3%83%AD%E3%83%BC%E3%82%AB%E3%82%99%E3%82%A4%E3%83%88%E3%82%99%20691cb9f4f0c84988a358b53c278cd450.md) | | | --- | --- | | 購入・発注ワークフロー申請 (.
**業務系ワークフロー（アカウント申請・各種利用申請など）** 業務系ワークフローについては手順書の存在するものはワークフロー一覧に手順書・関連ページのリンクがあります。
これらの抽出された文章には、ワークフローの申請方法に関する情報が含まれています。また、Re-rankingした結果、申請フォームへのリンクも抽出されています。
**ワークフローURL** セキュリティの観点の上URL削除していますが、実際のURLを記載しています。 問い合わせ先：#help-ワークフロー
このケースでは、モデルが関連する情報を幅広く抽出しようとしている点は評価できますが、質問に直接答えるための情報が不足していることが問題です。Re-ranking手法を用いることで、より質問に関連する情報を上位に持ってくることができれば、回答のできる可能性があります。
考察(感想)
分析の結果、回答できなかった質問に対して、検索結果に類似している内容が検索されました。また、いくつかのケースではクエリの意図理解やキーワードマッチングの偏りが見られました。これは、単一のモデルを使用する場合の限界だと思います。1つのモデルで検索がうまくいかないときに、もう一度別のモデルで検索を行うことで、これらの問題が改善され、検索精度が向上し、回答できない問題の件数が減少すると期待されます。
まとめ
Re-ranking⼿法がRAGの検索精度向上に有効であることがわかりました。上位20件を検索することによってクエリに対して類似度のある文章が取得されました。
今後
今回の分析では、LlamaIndexを使⽤した実験を⾏いましたが、実際の運⽤環境とは異なるため、同じ環境(Vertex AI)での検証が必要です。
また、Re-ranking⼿法が実際の運⽤環境に適しているかフォワードテストが必要になります。 今回は検索のみを行いましたが解答文を生成するときにクエリの意図理解やキーワードマッチングの偏りを考慮した解答ができるか検証が必要です。
